wo 2005/081228 



PCT/FR2005/000019 



PROCEDE DE RESTAURATION DE PARTIELS D'UN SIGNAL 

SONORE 



La presente invention se rapporte au domaine des t616coiranumcations et en 
particulier au domaine du traitement nirai6rique d'un dgaal sonore et k la 
representation hannonique d'un tel signal. ' 

En modiUsation hannonique des sigaaux audionum^riques. le signal sonore est 
representd par un ensemble d'oscillateurs dent les param^tres (frequence. ampUtude, 
phase) varient lentement au cours du temps. L'analyse hannonique comprend une 
analyse temps/fr6quence a court tenne qui pennet de d6tenniner les valeurs de ces 
paramfetres, suivie d-une extraction de pics puis d'un suivi de partiels. 

Le signal a modeliser est decoup6 en trames de £ 6chantillons (typiquement 
i = 1024). Un premier module d'analyse temps/frequence k court tenne (qui effectue 
typiquement une transfonn6e de Fourier) pennet de calculer le spectre du signal a 
court tenne pour chaque trame. Un deuxifeme module d'extraction de pics pennet de ne 
reteuir que les pics les plus pertinents i priori, un crit^re 6tant par exemple de ne 
garder que les pics les plus 6nerg6tiques, Un troisifeme et dernier module cherche a her 
les pics entre eux au cours du temps, c'est-^-dire d'une trame a I'autre pour fonner les 
partiels. Chaque partiel conrespond pendant sa dur6e de vie ^ un oscillateur. 

Ce type d'analyse et de representation pent 6tre utiUse en particulier lors dun 
codage a reduction de debit, lors d'un codage parametrique (c'est-a-dire un codage qui 
traite le signal suivant trois aspects : transitoires. sinusoides. bruit), lors de la 
separation et indexation de sources sonores et lors de la restauration de fichiers 

sonores. , im.a«« 

n est couraimnent admis que la synthese des partiels est de meiUeure qualite en 

utiUsant des techniques d'interpolation des phases proposees par Robert LMcAulay et 

Thomas F.Quatieri dans I'article "Speech Analysis/Synthesis Based on a Smusoidal 

Representation", IEEE Transaction on Acoustics, Speech and Signal Processmg. PP 

744-754 1986 ou encore proposees par Laurent Girin, Sylvam Marchand, Joseph di 

Martino, axel Rebel et Geoffrey Peeters dans Tarticle "Comparing the order of a 

Polynomial Phase Model for the Synthesis of Quasi-Hannonic Audio Signals . 

WASPAA. New Paltz. NY. USA. October 2003. Ces techniques pennettent la 

synthase d'un partiel d'un pic (^,/,.<P,) ^^unpic (4... en calculant toutes les 

phases intennediaires h I'aide de polynSmes d'ordre 3 ou 5. les frequences se dedmsant 
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par d6rivation. Une interpolation d'ordre 3 est utilisee quand seules sent connues les 
jfrequences et les phases de d6part et tfaiTiv6e. Une interpolation d'ordre 5 est utilisee 
quand sont, en outre, connues les variations d'ordre 2 de la phase (equivalentes aux 
variations h Voidxe 1 de la frequence puisque par delBnition la frequence est la derivee 
de la phase). 

La synthese d'un partiel entre les pics -^i+i(4+p/w»9^i+i) 
consiste k calculer les valeurs p{rt) du partiel entre les trames i et i+1 : 
p.{n) = j3(fi + w) = 4(n)cos(^,(«)), n = 0,...,^-l 

(1) 

A cette fin, il est connu de calculer toutes les phases interm^diaures par I'une 
des deux methodes d'interpolation suivantes. 

Pour interpolation d'ordre 3 selon Mac Aulay et al, la phase est calcul6e au 

moyen de Texpression suivante : 

(p. (n) = (Pi + 2;^/«re + a {nTef + {nTe)^ 

(2) 

Oil Te est la periode d'echantillonnage 

Les deux inconnues a cX /3 se calculent par resolution d'un systdme 
d»6quations mettant en jeu • Les frequences se d6duisent par derivation 

2^fi (n) = 2fcfi + 2anTe + 3fi {nTef 

(3) , 
Pour I'interpolation d'ordre 5 selon Girin et al, les variations Sf, et ^f,^^ a 

rordre 1 de la fr6quence aux pics P, et P,^, sont suppos6es connues, La phase est alors 
calculee au moyai de I'expression suivante : 

(„) = <p,+2n: f,nTe+^{nTef + {nTef + y {nTef + 5 {nTef 



(4) 



Les trois inconnues p,S,Y se calculent par resolution d'un systdme d'6quations 
mettant en jeu (J.„U,,M..,Sf„dU,), Les frequences se deduisent par derivation : 
2fif,{n) = 27tf^+ Sf^nTe + 3>3 {nTef + Ay {nTef ^55 {n Te) 

(5) . , 

Pour des raisons diverses, U pent arriver que certains partiels existants dans le 

, signal soient absents, ccirompus ou discontinus en sortie d'analyse et/ou en entree de 

synthase. Par exemple, ils peuvent etre absents en entree du dacodeur dans une 



wo 2005/081228 



3 



PCT/FR2005/0000 19 



application de diffusion de programmes sonores sur Internet en cas de perte de 
paquets, ils peuvent 6tre corrompus en cas de perturbations du signal k analyser par un 
signal parasite (bruit, cUc. autre signal, etc), ou ils peuvent etre discontinus dans le cas 
oil ils ont une energie trop faible pour etre d^tectes correctement de fa9on continue. II 
s'av^re alors n6cessaire de mettre en ceuvre des techniques de restauration des pics 
manquants pour pouvoir recr66r un signal synth6tise le plus proche possible du signal 
original. Ceci necessite de reci«er des pics caracterises chacun par une amplitude, une 

frequence et une phase. 

Les techniques pr6c6dentes d'interpolation, connues de I'art ant6rieur, sont 
utiUsees pour synth6tiser les parties cotrespondant aux pics manquants et restaurer les 
paitiels. 

Cependant ces techniques d'interpolation connues sont adaptees au court terme, 
c'est-^-dire pour une periode inferieure h 10ms. Pour des dur6es plus longues, le signal 
re-synth6tise est souvent 61oign6 de I'original et des artefacts d6sagr6ables peuvent 
apparaitre. En effet, ces techniques assurent une continuite de phase entre les pics 
existants et les pics restaures, mais en contre partie elles ne pennettent pas de controler 
les fr6quences induites donn6es par les Equations (3) et (5). Get effet est d'autant plus 
marque que la distance d'intrapolation est grande. 

Un but de I'invention est de proposer une solution alternative au problfeme de la 
restauration de la partie manquante et identifi6e comme telle d-un partiel. notamment 
lorsque la partie manquante correspond h des temps longs (sup6rieurs a 10 ms) pour 
lesquels les techniques connues sont peu efficaces. 

Aussi, le problfeme technique a resoudre par I'objet de la presente invention est 
de proposer un procMe de restauration de parties manquantes des partiels d'un signal 
sonore, lors d'une analyse harmonique suivant laquelle le signal sonore est decoup6 en 
trames' temporeUes sur lesquelles est apphqu6e une analyse temps/frequence qui 
foumit des spectres successife a court terme repr6sent6s par des trames frequentielles 
d'echantiUons, I'analyse consistant en outre a extraire. des pics spectraux dans les 
trames fr6quentielles et a les Uer entre eux au cours du temps pour former des partiels, 
ce proc6d6 6tant une alternative aux solutions connues. 

Une solution au problfeme technique pos6 consiste, selon la presente invention, 
en ce que ledit proc6de de restauration d'un partiel entre un pic i* et un pic P,^n <^^^ 
les frequences a> et phases <l> sont connues est tel qu'U comprend les 6tapes qui 
consistent : 
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- a estimer la frequence S de chacun des pics manquants P^^^ a de ce 
partiel, 

- k calculer la phase d6roul6e 0 de pic en pic, depuis la phase du pic jusqu*^ 
celle du pic i^.,.^ et pour toutes les frequences d5 precedemment estimees, 

- a calculer Terreur de phase err(p entre la phase deroulee 0 et la phase connue 
au meme pic P^^j^ , 

- k corriger chaque phase deroul6e 0 d*une valeur fonction de Terreur de phase 
errq> . 

Un precede selon I'invention se difftrencie des m6thodes connues en ce qu'il 
effectue un controle plus fin de la fr6quence des pics manquants et un calcul apr^s 
coup des phases correspondantes pour assurer la contmuite avec les phases des pics 
existants. Ainsi, un precede selon Finvention pennet une re-synth^se sans artefacts des 
signaux correspondants aux morceaux de partiels manquants contrairement aux 
methodes connues prealablement d6crites; 

En outre, de manifere avantageuse, un proc6d6 selon Tinvention permet une 
reconstruction du signal plus proche au sens de rerreur de reconstruction du signal 
original que celle obtenue par les methodes connues, 

Enfin, un proc6de selon Vinvention pr6sente avantageusement un algorithme k 

faible complexite. 

L'invention a en outre pour objet un dispositif de synthase d'un signal sonore 
pour la mise en oeuvre d'un precede de restauration tfun partiel entre un pic P, et un 
pic P,^^ . Ce dispositif est par exemple un dfcodeur audio ou un codeur p.aram6trique 
adapt6 pour la mise en ceuvre d'un precede selon Finvention. 

L'invention a en outre pour objet un produit programme d'ordinateur 
chargeable directement dans la memoire interne d'un dispositif pr6c6dent, ou d'un 
groupe de dispositifs, Ce produit programme d'ordinateur comprend des portions de 
code logiciel pour r execution des, Stapes d'un precede selon Tinvention lorsque le 
programme est execute sur le dispositif ou le groupe de dispositifs. 

Uinvention a en outre pour objet un support utilisable dans un dispositif 
pr6c6dent ou un groupement de dispositifs et sur lequel est enregistre un produit 
programme d'ordinateur chargeable directement dans la memoire interne du dispositif 
ou du groupe de dispositifs, comprenant des portions de code logiciel pour rex6cution 
des etapes d'un proc6d6 selon Finvention, lorsque le programme est execute sur le 
dispositif ou le groupe de dispositifs. 
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D'autres caracteristiques et avantages de rinvention apparaltront lors de la 
description qui suit faite en regard de figures annex6es domi6es k titre d'exemples non 
limitatifs. 

La figure 1 est un organigramme d'un exemple de d6roulement d'un precede 
selon rinvention. 

La figure 2 est un schema d'un exemple d'utilisation d'un proced6 selon 
rinvention. 

Un precede selon I'invention se deroule de la fafon suivante d6crite en regard 
de rorganigranmie de la figure 1. Le proc6d6 1 consiste k resta:urer un partiel entre un 
pic etun pic P^^^ dont les firequences o et phases <p sont connues. 

Dans une premiere etape 2, le precede estime la frequence S et Tamplitude A 
de chacun des pics manquants h P^^^^, . Cette estimation est effectuee par exemple 
par interpolation ou prediction lineaire selon des m^thodes coimues. 

Soit un partiel constitu6 d'une succession de pics Pf{Ai,cOf,<Pt) li6s entre eux, 
connus a des instants iT et caracteris6s par : 
Af , I'amplitude du pic au temps iT 

, la frequence du pic au temps iT 
<p. , la phase du pic au temps iT, doim6e modulo 2n. 

L'estimation de la frequence des pics manquants entre les pics f) et Z^+^y est 
effectuee par exemple au moyen d'une interpolation lineaire entre fi>, et Oj^^ , ou au 
moyen d'une prediction lm6aire sur le pass6 ou sur le futur, d6crite par exemple dans 
rarticle "Enhanced Partial Tracking using linear Prediction", de Mathieu Lagrange, 
Sylvain Marchand, martin Raspaud et Jean-Bernard Rault, Proceedings of the Digital 
Audio Effects (DAFx) Conference, ppl41-146. Queen Mary, University of London, 
UK, September 2003, ou encore au moyen d'une combmaison pond6ree sur le passe ou 
sur le futur. 

L'estimation de Tamplitude A des pics manquants est effectu6e par exemple au 
moyen d'une interpolation Un6aire entre A, et A,^^ , ou au moyen d'une prediction 
lin6aire sur le pass6 ou sur le ftitur ou encore au moyen d'une combinaison ponderee 

sur le pass6 ou sur le fritur. 

Dans une deuxifeme etape 3, le proc6d6 calcule la phase d6roulee ^ de pic en 
pic, depuis la phase du pic P, jusqu'a celle du pic P,^^ . Ce calcul est effectue pour 
chacune des frequences o) precedemment estim6es. 
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Soient ^,et (O, la phase et la firequeaice de depart et {<Si+,,...,fi>,+^_,}une 
estimation des frequences dans I'intervalle h reconstnrire. Pour prolonger le partiel 
entre le pic P, et le pic Pi^„ , le precede deroule la phase selon I'expression suivante : 

/ n />i -4- />j. . ^ 



(6) 



, n = 1,...,N 



Povir ne pas engendrer de discontinuitds nuisibles k la quality de la re-synthtee, 
il faut obtenir k I'instant i+N vine phase reconstruite egale a (p,^„ . Les donnees 
intervenant dans I'expression (6) pr6cedente 6tant soient approxim6es, soient pr6dites, 
il est statistiquement impossible d'obtenir cette 6galite. Par cons6quent, le precede 
repartit I'erreur de phase err<p calculfe I'instant i+N entre tons les pics manquants et 
pr6alablement reconstruits P^,, a au moyen des 6tapes suivantes. 

Dans une troisieme etape 4, le proc6d6 calcule I'erreur de phase err<p entre la 
phase d6roul6e et la phase connue (p,^„ au meme pic P^^^ . Ce calcul peut Stre 
effectu6 selon le syst^sme d'equatioris suivant : 

err<p = <Pi^^ - + 2?r si 1^,^.^ - + 2«-| < \<Pi*n - 
(7) 

(8) 

, err(p = ^7,+^ - 
(9) 

Dans une quatrieme 6tape 5, le proced6 corrige chaque phase d6roul6e (p„„ 
d'une valeur fonction de I'erreur de phase err<p . Typiquement I'erreur de phase 
calcul6e h I'instaiit i+N est r6partie de maniere uniforme sur chacune des phases 
deroul^es selon I'expression suivante : 

^corrigeei,,, =modU,^„+err<p-^,2'^jn=l N-1 

(10) 

La repartition peut ne pas 6tre uniforme et suivre une loi non lineaire par 
exemple.' 
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L'exemple d'utiUsation iUustr6 par la figure 2, consiste & restaurer les partiels au 
moyen d'un precede 1 selon rinvention lors d'une analyse harmonique d'un signal 
sonore par exemple lors d'un codage param6trique. Le signal sonore s(n) est represent6 
par un ensemble d'oscillateurs dont les param^Jtres (fi:6quence, ampUtude) varient 
lentement au cours du temps. De maniere classique, I'analyse harmonique comprend 
une analyse 6 temps/fi-6quence 4 court teime qui peimet de determiner les valeurs de 
ces paramJstres, suivie d'une extraction 7 de pics puis d'un suivi 8 de partiels. Une 
detection 9 de trous dans les partiels precede la mise en oeuvre dW proc6d6 1 de 
restauration des partiels selon I'invention. Les pics reconstruits P.,^„ , o)i^„ , P,+„ ) lors 
de la mise en oeuvre du proc6d6 1, sont ensuite trait^s comme des pics issus de 
I'analyse harmonique et la synthtee 10 additive du signal correspondant au partiel 
restaur^ a partir de ces pics reconstruits pent se faire, par exemple, par une des 
methodes connues ^interpolation des phases (ordre 3 ou ordre 5). ^ 
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RKW.NDICATIONS 

1. Proced6 (1) de restauration de partiels d'un signal sonore, lors d^une analyse 
hannonique suivant laquelle le signal sonore est d6coupe en trames temporelles sur 
lesquelles est appliquee une analyse temps/fireqnence qui foumit des spectres 
successifs h court tetme repr6sent6s par des trames fr6quentieUes d'echantillons, 
Vanalyse consistant en outre k extraire des pics spectraux dans les trames 
fr6quentielles et k les lier entre eux au cours du temps pour former des partiels, le 
proc6de de restauration d'un partiel entre un pic ef un pic P,^^ dont les 
frequences et phases sent connues est caract6ris6 en ce qu'il comprend les 6tapes 
qui consistent : 

- k estimer (2) la frequence a de chacun des pics manquants a P/^^.t de ce 
partiel, 

- k calculer (3) la phase d^roulee <p de pic en pic, depuis la phase du pic P, 
jusqu'i ceUe du pic P,^^ et ce. pour toutes les frequences & pr6c6demment 
estimees, 

- k calculer (4) I'erreur de phase err(p entre la phase d6roul6e ^ et la phase 

connue au meme pic P^^ff , 
.* k corriger (5) chaque phase d6roul6e (p dhme valeur fonction de Terreur de 

phase emp. 

2. Precede (1) de restauration de partiels d'un signal sonore selon la revendication 1, 
dans lequel la phase d6roul6e ^ est calculee par la formule : 



^.>« = mod 



, n = 1,..;N 



avec <p, et <&, = (o, la phase et la frequence du pic P, . (Pi^^ et = la phase 
et la frequence du pic P/^.^ . 

3. Proc6d6 (1) de restauration de partiels d'un signal sonore selon I'une des 
revendications 1 et 2, dans lequel I'estimation de la frequence S des pics 
manquants /)^, a i^^^., est effectufe au moyen d-une interpolation lin6aire enfre 
les frequences des pics coimus P, et P,^f, . 
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4. Proced6 (1) de restauration de partiels d'un signal sonore selon Tune des 
revendications 1 et 2, dans lequel Testimation de la frequence S des pics 
manquants i^^, k P^^f^,^ est effectuee au moyen d'une prediction lineaire sur le 
pass6. 

5. Proc6d6 (1) de restauration de partiels d'un signal sonore selon Ihme des 
revendications 1 et 2, dans lequel Testimation de la frequence & des pics 
manquants P^^^ k i^+^^-i ^st effectu6e au moyen d'une prediction lin6aire sur le 
futur, 

6. Proced6 (1) de restauration de partiels dW signal sonore selon l*une des 
revendications 1 et 2, dans lequel Testimation de la fr6quence & des pics 
manquants P^^, ^ P^^^^^ est effectu6e au moyen d'une combinaison ponderee d'une 
prediction lin6aire sur le pass6 et d*une prediction lin6aire sur le fiitur. 

7. Proc6d6 (1) de restauration de partiels d'un signal sonore selon Tune des 
revendications pr6cedentes, qui comprend en outre Tetape qui consiste : 

- i estimer Tamplitude de chacun des pics manquants P^ a i^+^r-i de ce partiel 
au moyen d'une interpolation lineaire entre les ampUtudes A des pics connus P^ et 



P: 



8. Proc6de (1) de restauration de partiels d'un signal sonore selon Tune des 
revendications 1 4 6, qui comprend en outre I'etape qui consiste : 

- a estimer I'amplitude de chacun des pics manquants i^^i a P^^^^i de ce partiel 
au moyen d'une prediction lin6aire sur le passe. 

9. Proc6d6 (1) de restauration de partiels d'un signal sonore selon iWe des 
revendications 1 i 6, qui comprend en outre I'etape qui consiste : 

- a estimer I'amplitude de chacun des pics manquants k i^+yy-i partiel 
au moyen d'une prediction lineaire sur le futur. 

10. Proc6d6 (1) de restauration de partiels d'un signal sonore selon I'une des 
revendications 1 a 6, qui comprend en outre r6tape qui consiste : 



( 
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- h estimer Tamplitude de chacun des pics manquants ^ P(+N-i ^ paxtiel 
au moyen dHme pr6diction lm6aire sur le pass6 et d'une prediction lineaire sur le 

futur. 

11, Proc6de (1) de restauration de partiels d'un signal sonore selon Tune des 
revendications prec6dentes, dans lequel la correction de phase consiste h repartir 
uniformement I'erreur de phase err<p calculee a I'instant i+N entre tons les pics 
manquants » Pi+s-i^^P^^^: 

12. Proc^de (1) de restauration de partiels d'un signal sonore selon la revendicatioii 
prec^dente, dans lequel la phase corrig6e est d6termin6e par I'^quation : 

^corrigeei^„ =mod\^,^„+ err(p—,27r j n = l,...,N-l 

IS.Procede (1) de restauration de partiels d'un signal sonore selon la revendication 
pr6c6dente, dans lequel I'erreur de phase err<p est d6tennin6e par le systeme 
d'6quations : 

err<p = ip,^N " ^j+w + 2^ si \(Pi^ff - + '^A < ~ ^'+'^1 
err(p = (Pi^f, - " 2^ si |^,+;, - 9t*N " < \<Pi*n - Kn\ 
err^ = - ^,>A, sinon. 

14. Dispositif de synthese d'un signal sonore pour la raise en oeuvre d'un pTOc6d6 selon 
rune des revendications pr6c6dentes, cffl-act6ris6 en ce qu'il-comprend : 

- des moyens d'estimation de la frequence & de chacun des pics manquants /J^, 
4 ce partiel, 

- des moyens de calcul de la phase d6roul6e # de pic en pic, depuis la phase du 
pic P, jusqu'^l celle du pic P,,,, et ce, pour toutes les frequences S pr6cedemment 
estim6es, 

- des moyens de calcul de I'erreur de phase err<p enfre la phase d6roul6e 0 et la 
phase connue au mSme pic , 

- des moyens de correction de chaque phase d6roul6e 0 d'une valeur fonction de 
I'erreur de phase err^ . 

15. Un produit programme d'ordinateur chargeable directement .dans la m^moire 
interne d'un dispositif ou d'un groupe de dispositifs selon la revendication 
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pr6c6dente, comprenant des portions de code logiciel pour Tex&ution des Stapes 
d'un precede (1) selon Tune des revendications 1 a 13, lorsque le programme est 
ex6cute sur le dispositif ou le groupe de dispositifs. 

16. Support utilisable dans un dispositif ou un groupement de dispositife selon la 
revendication 14 et sur lequel est enregistre un produit programme d'ordinateur 
chargeable directement dans la m6moire interne du dispositif ou du groupe de 
dispositifs, comprenant des portions de code logiciel pour 1' execution des 6tapes 
d'un precede (1) selon Tune des revendications 1 A 13, lorsque le programme est 
ex6cute sur le dispositif ou le groupe de dispositife. 



